測試跑完了。

先給結果,因為這個結果跟我 Day 23 押的方向完全相反:

兩顆都不是完勝。

甲答對了最難的那一題,而且它是唯一一顆敢說「我不知道」的。

但它同時做了一件讓我背脊發涼的事。

它踩的那個陷阱

問題是:現在可不可以開始測試?

甲的回答是這樣的:

可以(測試環境的某某開關為開啟,且另一個專案已經通過驗證)

答案「可以」——是對的。

而括號裡那兩個理由,跟這個問題完全沒有關係。

那個開關,跟這件事能不能測無關。另一個專案通過驗證,更是完全不相干——那正是我刻意放進去的三條干擾項之一。

所以實際發生的事情是:

它給了一個正確的結論,然後從旁邊抓了兩件真實但無關的事,當作那個結論的根據。

為什麼這個比答錯還可怕

如果它答「不可以」,那我五秒鐘就知道它錯了,回去修。

但它答「可以」。而且它附了理由。而那兩個理由,每一條都是真的——那個開關真的是開的,那個專案真的通過了驗證。你去查,兩條都查得到。

所以你會看到一段:

• 結論正確 ✅
• 引用的事實存在 ✅
• 讀起來有憑有據 ✅
• 而這些憑據跟結論之間,沒有任何關係 ❌

這就是 Day 9 那一篇。一模一樣。

每一個零件都是真的,只是組錯了位置。

我的查核查的是零件,而這一類錯誤發生在接線。

Day 9 我講的是一份 AI 統整出來的文件。今天講的是一顆模型即時的回答。

同一種病,出現在完全不同的地方。

而更麻煩的是 Day 9 那個結論在這裡完全適用:一個有憑有據的錯誤,比一個明顯的錯誤危險太多。 因為你查證的時候,每一項都會通過。

而我當下的反應,其實很平淡

我想誠實記下這件事,因為它跟我現在寫得這麼義正辭嚴不太一樣。

在這之前幾天,我遇過一次一模一樣的狀況。當時它回答了一個關於頁面行為的問題,答案是對的,但後面接了一段「根據某某卡的決策與風險留言,你的問題描述與該卡高度相關」。

而我當下的反應,不是抓到了。是困惑。

我那時候打出來的字是這樣的:

「喔,他說的是對的……但我不確定這跟(那張卡)關係大不大?或者說,這問題有需要回覆這個訊息嗎?」

你看得出來我在做什麼——我在懷疑自己。

我沒有立刻說「它錯了」,我先問的是「這兩件事是不是有什麼關聯是我沒看出來的」。

我後來覺得那個遲疑很值得記下來,因為它說明了這種錯誤真正的殺傷力在哪裡:

當一個東西給你一個正確的答案,再附上一個真實的理由,你的第一反應不是質疑它,是質疑自己。

我是一個已經被騙過、寫了十幾天「不要相信它」的人,我的直覺反應還是先檢討自己的理解。

那換成一個新人呢?

新人不會有那個遲疑,會直接把那個理由學起來。

成本的部分更直接

除了踩陷阱之外,還有一個數字讓這個選擇變得沒有懸念:

事實從 1 條變成 6 條,甲的思考量漲了將近四倍。

而這件事的可怕之處在於它的方向:真正上線之後,檢索一次會撈出十條以上的事實。

也就是說,這條曲線只會往更糟的地方去。

六分半鐘回答一個問題,已經是沒有人會用的程度了。而那還只是六條事實。

但我要替甲講幾句公道話

寫到這裡很容易變成「會思考的模型不好」,而那是錯的,我不想留下這個印象。

甲做對了兩件乙做不到的事。

第一,它是唯一敢說「事實不足」的。

我在 Day 25 寫過,我特地給了一個誠實的出口,想看看誰會用。乙從頭到尾沒用過——它總是有辦法擠出一個答案。而甲用了,而且用在對的地方。

那個能力在我的清單上排得很前面。Day 14 我才寫過,人跟 AI 最大的差別就是人會說「我不確定」。

而甲會。

第二,最難的那一題,只有它答對。

那一題要判斷的是「這次改動有沒有回歸風險」,需要先確認某件事屬於既有行為,才推得出結論。那是這次測試裡唯一需要真推理的一步。

乙完全答非所問。甲答對了。

所以結論不是「會思考沒有用」。結論是:

它的推理能力是真的。而它把那個能力,用在了一個我不需要它推理的地方。

我要它唸稿,它幫我寫了論文。論文寫得不錯——只是我要的是唸稿。

而我得承認我在 Day 23 下的判斷太早了

Day 23 那篇我寫過,甲的回答「比較像一個 QA 會講的話」,而乙「比較笨,只會照抄」。

那個評語我現在得收回,而且我想保留它被收回的過程。

因為它錯得很典型:我是用「讀起來像不像懂的人」在評價。

而那正好就是這整個系列從 Day 8 開始一直在警告的事——一個讀起來很專業、很完整、有前因後果的回答,跟一個正確的回答,是兩件不同的事。

我寫了十幾天叫別人不要被文筆騙,然後我自己在選模型的時候被文筆騙了。

明天:所以要怎麼選?

兩顆都不完美:

• 乙:快、便宜、聽話、不牽拖,但不敢說不知道,而且最難那題答不出來
• 甲:推理是真的、敢說不知道,但慢六分半、貴二十六倍,而且會拿無關的事當理由

如果照「誰答得比較好」來選,這是一道很難的題。

而我後來發現,那個問題本身就問錯了。

明天那篇要講的是我最後用的準則,以及一個我試了三種方法都失敗、最後決定放棄對抗的東西。